MDL
# Tag:
- Source/KU_ML
MDL(Minimal Description Length)
model selection과 데이터 압축을 위한 정보 이론에 기반한 방법으로, 데이터와 모델의 복잡성을 모두 고려해 가장 간단하고, 근접하게 데이터를 Consistent한 모델을 선택한다.
- model과 데이터를 설명하는 방식 모두 압축 가능하다는 가정.
- 데이터를 설명하기 위한 설명 길이가 가장 짧은 모델이 제일 좋은 모델.
위의 Error(:정확히는 설명 길이)를 최소화하는 것을 목표로 한다.
- : model 이 데이터를 설명하는 사용된 방식을 표현하는데 필요한 정보량.
- : model 을 사용해 주어진 데이터를 설명하는 데 필요한 정보량.